فناوری کلان داده(Big Data) چیست؟
کلان داده بسیاری از صنایع و حتی زندگی ما را هم تحت تاثیر قرار می‌دهد؛ اما این مسئله خطرناک است یا مفید؟
داده شامل اطلاعات است؛ اما این همه‌ي ماجرا نیست. جزئیات یک حادثه یا اخباری درباره‌ی سلامت انسان داده‌ای نیست که ما با آن سروکار داشته باشیم. وقتی ما از داده صحبت می‌کنیم درواقع منظورمان مجموعه‌ی داده، سازمان‌دهی و ذخیره‌سازی آن است.
در عصر اینترنت شرکت‌ها و سازمان‌ها در سراسر جهان داده‌های بسیاری جمع‌آوری کرده‌اند که در ادامه به مقیاس گسترده‌ی آن‌ها می‌پردازیم. اکنون که کلان داده وجود دارد تاثیر بسیار بزرگی بر زندگی ما می‌گذارد.
کلان داده چیست؟
کلان داده مجموعه‌ی بسیار بزرگی از دادهها است که ابزارهای سنتی ما برای مدیریت این اطلاعات به کار نمی‌آیند. کلان داده می‌تواند اشکال مختلفی داشته باشد.
به عبارت دیگر کلان‌داده یا Big Data به حجم‌هایی از داده گفته می‌شود که در مقایسه با داده‌های نسل قبلی با روش‌های متداول قابل مدیریت و پردازش نباشند. مشکلات به وجود آمده در مدیریت و پردازش حجم‌های عظیم اطلاعات شامل جمع‌آوری، آنالیز، نگهداری، انتقال، جستجو و به روزرسانی می‌شوند.
به عنوان نمونه یک کلان‌داده‌ی شناخته‌شده، اطلاعات موجود در پایگاه داده‌ی گوگل است که در هنگام جستجو می‌بایست در کسری از ثانیه مورد جستجو قرار گیرد. برآورد شده بیش از یک میلیارد سایت اینترنتی وجود دارند که در واحد زمان ده‌ها سایت جدید و هزاران مطلب جدید به آن افزوده می‌شوند. موتور جستجوی گوگل باید بتواند با سرعت متناسب، اطلاعات جدید را Index کند و همیشه نتایج جستجوی روزآمدی را از میان این حجم عظیم اطلاعات، در زمان قابل پذیرش به کاربران خود ارائه دهد.
مشخصه‌های کلان‌داده
کلان‌داده با سه مشخصه حجم (Volume)، سرعت (Velocity) و تنوع (Variety) تعریف می‌شود.
حجم: کاربران اینترنت هر روز ۵٫۲ اگزابایت (میلیون ترابایت یا میلیارد گیگابایت) داده در اینترنت تولید می‌کنند. پردازش، طبقه‌بندی و تحلیل این حجم اطلاعات در هر روز چالشی بزرگ است.
سرعت: تولید دادهها در اینترنت شتابدار است. میزان تولید دادهها در هر روز بیشتر از روز قبل است و این رقم با هر چه بیشتر شدن تعداد دستگاه‌های متصل به اینترنت از این هم فراتر خواهد رفت. چالش بزرگ، افزایش دائمی توان ذخیره‌سازی و پردازشی متصل به اینترنت و همگام شدن با سرعت تولید دادهها است.
تنوع: داده‌های تولیدشده در اینترنت از منابع گوناگون و در ساختارهای مختلفی هستند. از داده‌های عددیِ موجود در سایت یک کارگزاری بورس تا داده‌های بدون ساختار در متن، ایمیل، ویدئو، صدا و تراکنش‌های مالی، همه سهمی از این داده‌های تولیدشده دارند. طراحی الگوریتم‌هایی که بتواند از عهده این حد از تنوع دادهها برای ایجاد ارتباط و تحلیل آن‌ها برآید، بسیار چالش‌برانگیز است.
البته برخی صاحب‌نظران این حوزه مشخصه‌های دیگری همچون تغییرپذیری (Variability) و پیچیدگی (Complexity) را نیز به این سه مورد اضافه کرده‌اند. با این همه این خود دادهها نیست که کلان‌داده را مهم می‌کند، بلکه موضوع مهم چگونگی استفاده از این دادهها است.
نمونه‌های به کارگیری کلان‌داده در تکنولوژی
•سایت فروش اینترنتی eBay از اطلاعاتی با حجم بیش از ۴۰ پتابایت برای پیشنهاد محصولات به مشتریان استفاده می‌کند.
•سایت Google ماهیانه به بیش از ۱۰۰ میلیارد جستجوی اینترنتی پاسخ می‌دهد.
•سایت فیسبوک بیش از ۵۰ میلیارد تصویر از کاربران خود را نگهداری می‌کند.
•فروشگاه والمارت در هر ساعت یک میلیون خرید کاربران خود را در پایگاه داده ذخیره سازی می‌کند.
•مرکز پیشبینی آب و هوای ناسا از اطلاعاتی با حجم بیش از ۳۲ پتابایت نگهداری و استفاده می‌کند.
•در سایت توئیتر روزانه بیش از ۶۰۰ میلیون توئیت ثبت می‌شود.
فناوری کلان داده چیست؟
رایانه‌های شخصی ما بطور کلی توانایی مدیریت حجم کمی از دادهها را دارند. کل اطلاعاتی را که می‌توانید وارد یک کامپیوتر کنید، در نظر بگیرید؛ در عین حال نرم‌افزارهای پایگاه‌داده قابلیت مدیریت حجم‌های بزرگتری از اطلاعات را دارند. این ابزارها می‌توانند روی داده‌های یک درایو سخت قرار بگیرند؛ البته ممکن است به قفسه‌هایی شامل نوت‌بوک‌ها و پوشه‌ها نیاز داشته باشند. اما این ابزارها برای رسیدگی به کل حجم اطلاعاتی که ما به‌عنوان کلان داده به آن‌ها اشاره می‌کنیم کافی نیستند. به همین خاطر روش‌های جدیدی توسعه یافته‌اند.محاسبات ابری کارها را از کامپیوترهای ما روی سرورهای راه دور تخلیه می‌کند. به همین دلیل روش‌های زیادی برای دسترسی و استفاده از اطلاعات وجود دارد.
کاربردهای جالب توجه کلان داده
کلان داده به خودیِ خود به وجود نیامده؛ چندین روند، علت وجود آن را تقویت کرده‌اند.
اینترنت اشیاء
اینترنتی که شما در حال حاضر می‌شناسید اینترنت افراد است، جایی که در آن مردم از طریق ماشین‌هایی تسهیل‌کننده با یکدیگر ارتباط برقرار می‌کنند. به عنوان نمونهای از این تعاملات، تصور کنید شما سایتی که دیگران طراحی کرده‌اند را بازدید می‌کنید و یا متنی که دیگران در سایت تایپ کرده‌اند می‌خوانید.اینترنت اشیاء جایی است که در آن اشیاء بدون دخالت بشر مستقیما با یکدیگر ارتباط برقرار می‌کنند؛ مثلا یک دستگاهی که بر آب‌و‌هوا نظارت می‌کند در نظر بگیرید؛ ترموستاتی هوشمند به این اطلاعات دسترسی پیدا می‌کند و درجه حرارت منزل شما را تنظیم می‌کند.
کلان داده و اینترنت اشیاء کاملا به یکدیگر وابسته‌اند. سازمان‌ها باید بدانند با حجم انبوهی از اطلاعاتی که جمع‌آوری می‌شود، چه‌کاری باید انجام دهند. اشیاء از طریق اینترنت و به لطف داده‌هایی که در دسترس‌شان است می‌توانند خودشان اقداماتی را صورت بدهند. هرچه دستگاه‌های بیشتری به این روش عمل می‌کنند داده‌های بیشتری تولید می‌شود.
یادگیری ماشین
منظور از یادگیری ماشین در واقع توانایی یادگیری کامپیوتر بر مبنای دادهها است؛ همین توانایی اساس شکل‌گیری وضعیت‌های مختلف رادیو اینترنتی پاندورا به سَبک مخصوص شما است. همچنین یادگیری ماشین در پشت پرده‌ی پیشنهادات محتوای یوتیوب و نت‌فلیکس قرار دارد. این پیش‌بینی‌ها مبتنی بر الگوریتم‌ها هستند. الگوریتم جستجوی گوگل و نیز الگوریتمی که تعیین می‌کند چه چیزی در فید خبری فیسبوک مشاهده کرده‌اید همگی مبتنی بر توانایی یادگیری ماشین هستند. اما این‌ها بخش کوچکی از چگونگی تاثیر یادگیری ماشین بر زندگی روزمره‌ی ما هستند.
هوش مصنوعی
هوش مصنوعی گام بعدی پس از یادگیری ماشین است. در هوش مصنوعی نه تنها یادگیری کامپیوتر باز دادهها وجود دارد، بلکه کامپیوتر از این اطلاعات در راستای تصمیم‌گیری متکی به خود و شکل‌دهی رفتار خودش استفاده می‌کند. مایکروسافت و گوگل نمونه‌هایی از تلاش برای ساخت ربات‌های انسانی هستند؛ فیسبوک نیز هوش مصنوعی را برای کمک به جلوگیری از خودکشی به کار گرفته است. فناوری به سرعت در حال پیشرفت است، تا جایی که نمونه‌های متعددی وجود دارد که "تفکر کردنِ کامپیوتر" بهتر از نوع بشریِ آن عمل می‌کند.
علم تجزیه و تحلیل کلان داده چیست؟
منابع کلان داده به خودی خود هیچ‌گونه اطلاعاتی را در اختیار ما نمی‌گذارند، در واقع شخصی باید باشد که مفهوم این اطلاعات را دریابد. در واقع کل کاری که در تجزیه و تحلیل کلان داده باید انجام شود به این صورت است: بررسی حجم زیادی از اطلاعات غیر قابل فهم و سپس فهمیدن آنچه می‌توان از آن استخراج کرد.و به همین ترتیب کلان دادهها روی زندگی شما تاثیر می‌گذارند، حتی اگر یک مخالف تکنولوژی دنیای مدرن باشید. اما چرا به کلان دادهها روی آورده‌ایم؟ به این علت که با بینش صحیح، کلان دادهها مزایای زیادی دارند.
کاربردهای کلان داده
کلان داده همواره در جهت بهبود روند زندگی کاربرد زیادی داشته است؛ در این بخش برخی از موارد کاربرد کلان داده را بررسی خواهیم کرد:
کلان داده در خدمات بهداشتی، درمانی و سلامت
صنعت بیمه سلامت در زمینه اقتباس تکنولوژی‌های جدید سرعت خوبی ندارد. برخی از ارائهدهندگان بیمه‌های بهداشتی، درمانی و سلامت در حال مهاجرت از کاغذ به ابزارهای ذخیره‌سازی دیجیتالی هستند. با این وجود کلان داده در برخی زمینه‌ها تفاوت‌هایی را ایجاد کرده است؛ یکی از این زمینه‌ها یکپارچگی دادهها است. بیمه‌گذاران و ارائهدهندگان در حال کار روی ترکیب داده‌های منابع مختلف هستند، داده‌هایی مانند مانند مطالبات، اشعه ایکس، یادداشت‌ها و نسخه‌های پزشکان.
بیمه
بسیاری معتقدند که اگر داده‌های بیمه سلامت بهتر یکپارچه‌سازی می‌شدند می‌توانستند بیمه‌ی بهتری با هزینه‌ای کمتر ارائه بدهند. در حالی که آمازون، برکشایر هاتاوی و جان پیرپونت مورگان اوایل سال جاری اعلام کردند در زمینه بیمه سلامت با یکدیگر همکاری می‌کنند، تکنولوژی را به عنوان نقطه تمرکز خود (مانند صفحه اصلی روزنامه گاردیَن) اعلام کردند.
کلان داده در بانکداری و خدمات مالی
صنعت مالی کاملا مصرّ بر تصمیمگیریهای مبتنی بر تحلیل‌های کامپیوتری است. سقوط آنی سهام وال استریت به علت معاملات خودکار از طریق ماشین‌هایی بود که بدون دخالت انسان سهام را به سرعت با قیمتی پایین‌تر می‌فروختند و با توجه به آنچه در بازار درحال رخ دادن بود سایر فروشندگان را وادار به فروش کرده و نسبت به فروش تحریک می‌کردند. این نوع تجارت، تجارت بسامد بالا نامیده می‌شود.
اکنون دانشمندانِ داده‌های مالی، با استفاده از کلان دادهها پیشبینی می‌کنند که کدام سهام موفق خواهد بود و کدام یک احتمال دارد سقوط کند. همچنین بانک‌ها هم به کلان دادهها به عنوان راهی برای افزایش درآمد نگاه می‌کنند.
کلان داده در تجارت الکترونیکی و بازاریابی
بازاریابی مدرن به دادهها وابستگی شدیدی دارد و ما هم با هر خریدی که انجام می‌دهیم اطلاعات زیادی تولید می‌کنیم. در این رابطه کلان داده وعده‌های بسیاری به حوزه‌ی بازاریابی داده است که اصلی ترین آن‌ها پاسخ به دو نیاز اصلی است.اول به کمک آن‌ها می‌توان درباره شخص خریدار، زمان، مکان، نوع و قیمت خرید اطلاعات کسب کرد؛ و مورد دوم به دست آوردن ارتباطی منطقی بین محصولاتی که مشتریان می‌بینند یا در موردشان می‌خوانند یا می‌شنوند و در نهایت چیزی که خریداری می‌کنند. برخی فروشگاه‌ها با ردیابی کارت‌های اعتباری و وفاداری مشتریان از طریق دوربین یا ردیابی تلفن‌شان می‌فهمند کدام بخش از فروشگاه بیشتر توجه آن‌ها را جلب کرده است. مشتریان قبل از خرید باید به صورت آنلاین حساب‌هایی ایجاد کنند که این کار به سایت‌ها اجازه می‌دهد نه تنها خرید‌های آن‌ها بلکه هر قلمی که آن‌ها مشاهده می‌کنند را نیز ردیابی کنند.
در عوض تکنیک‌هایی مثل هدف‌گیری و شناسایی مشتری که نیمی از بودجه‌ی بازاریابی را هدر می‌دهند و تنها برای کوتاه‌مدت اثربخش هستند، پاسخ به این دو نیاز بسیار اثربخش‌تر است.برای پاسخ به این نیاز‌ها، بازاریاب‌ها باید با استفاده از کلان داده از طریق تشخیص الگوی مصرف مشتری و شناخت علاقمندی‌ها و عادات مصرف، خرید بعدی وی را پیشبینی کنند
در واقع فروشگاه‌ها طرح‌های خود را بر مبنای علاقه و رفتار مشتریان پایه‌گذاری می‌کنند تا شرایط همکاری بهتری را در تجارت پیدا کنند. فروشندگان آنلاین بر مبنای اطلاعات جمعیت‌شناختی و سایر معیارها درباره‌ی چیزی که ما می‌خواهیم ببینیم تصمیم می‌گیرند. فروشگاه‌های جدید غیر مجازی آمازون نمونهای از ادغام دو دنیا هستند.
نیاز‌های بزرگی وجود دارند که از طریق نظارت بر علایق و رفتار آنلاین ما بوجود می‌آیند. گوگل و فیسبوک غول‌های سودآور تکنولوژی هستند که دلیل آن توانایی آن‌ها در فروش تبلیغات است که نسبت به پلت‌فرم‌ها و روش‌های تبلیغاتی دیگر بهتر می‌توانند گروه مصرف‌کنندگان به خصوص را مورد هدف قرار بدهند؛ این قابلیت آن‌ها به لطف اطلاعاتی است که برای استفاده از سرویس‌های آن‌ها ارائه می‌کنیم.
چگونه می‌توان از کلان‌داده در تجارت استفاده کرد؟
مفهوم کلان‌داده از سال‌ها پیش مطرح بوده است. کم‌کم بسیاری از سازمان‌ها متوجه شده‌اند اگر تمام داده‌هایی را که در تجارت خود وجود دارد جمع‌آوری کنند، می‌توانند با تحلیل آن‌ها ارزش چشمگیری تولید کنند. با این همه در دهه ۱۹۵۰، سال‌ها پیش از آنکه کسی اصطلاح کلان‌داده را مطرح کند، از تحلیل دادهها (عموما داده‌های ثبت‌شده در جدول) برای کشف ترند‌ها و کسب بینش تجاری استفاده می‌شد.
از مهم‌ترین منافع جدیدی که کلان‌داده فراهم می‌آورد، سرعت و بازدهی است. در سال‌های گذشته لازم بود دادهها را جمع‌آوری و تحلیل کنند که بتوانند تصویر ذهنی برای تصمیمگیریهای آینده داشته باشند. اما امروزه به کمک کلان‌داده می‌توان برای تصمیمگیریهای سریع و حتی اصلاح روند‌های جاری استفاده کرد.
سرعت و چابکی به یک سازمان امکان حرکت در مرزهای رقابتی می‌دهد. در دنیای امروز این توانایی تنها به مدد کلان‌داده به دست می‌‌آید.
در بازاریابی نیز نتایج تحلیل کلان‌داده در مقایسه با تمامی روش‌های پیمایش سنتی، به طرز شگفت‌آوری دقیق‌تر و به واقعیت نزدیک‌تر است. همین موضوع می‌تواند باعث رشد بی‌نظیر سرمایه‌های جسورانه (Venture Capitals) شود و سرعت رشد کسب‌وکارهای تیزپا (غزال‌پا) را افزایش دهد. رشد سریع کسب‌وکارهای دیجیتال باز هم سرعت تولید دادهها را افزایش می‌دهد و جهان کلان‌داده را گسترده‌تر می‌کند.
آیا کلان داده خطرناک است؟
همانطور که کلان داده با وعده‌هایی همراه است ریسک‌هایی نیز دارد؛
نگران‌کننده‌ترین مسئله حال حاضر، حریم خصوصی و امنیت اطلاعات است.
کاهش حریم خصوصی از جمله معایب بزرگ کلان داده است؛ اکثریت مردم بیشتر از هر زمان دیگری در تاریخچه‌ی بشری درباره‌ی ما اطلاعات دارند. نه تنها پیدا کردن محل زندگی ما، بلکه دانستن در مورد جایی که می‌رویم، شخصی را که دوست داریم، نحوه‌ی زندگی ما، و تفکرات ما نیز آسان است. این موضوع باعث می‌شود که مسائل شخصی و اجتماعی بیشتر در معرض دستکاری قرار بگیرند. ممکن است ما فریب بخوریم و رمز و شماره کارت اعتباری خود را از دست بدهیم یا تحت تاثیر قرار بگیریم تا به کاندیداهایی رای بدهیم که تمایلی به حمایت از آن‌ها نداریم. داده‌های بیشتر راه‌های بیشتری برای تبلیغ‌کنندگان و شرکت‌های رسانه‌ای فراهم می‌کند تا میل‌ها و ارزش‌های ما را شکل دهند. نسبت به گذشته اطلاعات و داده‌های بیشتری درباره‌ی ما وجود دارد و این دادهها در مکان‌های بیشتری نگهداری می‌شوند و این مسئله باعث می‌شود اهداف بیشتری در معرض حمله قرار بگیرند. در حال حاضر سرقت داده‌های ما به صورت غیر قابل کنترل و بی وقفه رخ می‌دهد. حتی شرکت‌هایی که روند درستی برای حفاظت از داده‌های ما در مقابل حملات خارجی دارند اغلب خودشان فعالیت‌های مشکوکی روی داده‌های ما انجام می‌دهند، همانند چیزی که در فیسبوک شاهد بودیم. مسئله‌ی ریسک بعدی پیش‌بینی‌هایی است که افراد از طریق اطلاعات کلان داده انجام می‌دهند. مثلا آیا برای بیمه‌ی سلامتی افرادی که عادت‌های غذایی ناسالم دارند بیشتر هزینه کنیم؟ آیا باید امنیت و ارامش را در مناطقی که پیشبینی می‌کنیم افزایش بدهیم؟ آیا قیمت برای خریداران آنلاین که در مناطق فقیر زندگی می‌کنند افزایش می‌یابد؟
یافتن راه‌هایی برای حفاظت از داده، احترام به حریم خصوصی و حفظ ارزش‌هایمان به صورت چالش‌هایی مداوم با روندی در جهت کلان دادهها ادامه خواهد داشت.
آینده کلان‌داده
در دنیای امروز کلان‌داده هنوز دوران طفولیت خود را می‌گذارند. کودکی که آینده‌ای روشن برای آن قابل تصور است. کلان‌داده از حوزه‌هایی است که پیش از تولد نیز خواهان بسیاری داشت. تصور دنیای آینده بدون کلان‌داده غیرممکن است. اگر صاحب کسب‌وکار هستید و یا می‌خواهید در آینده کسب‌وکاری راه بیندازید، بهتر است همین امروز این کودک نوپا را استخدام کنید، یا دست‌کم برای شناختنش به اندازه کافی وقت بگذارید.